微软让MoE长出多个头，大幅提升专家激活率
微软让MoE长出多个头，大幅提升专家激活率MH-MoE 能优化几乎所有专家，实现起来非常简单。
来自主题: AI资讯
9996 点击 2024-05-14 13:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
MH-MoE 能优化几乎所有专家，实现起来非常简单。
继 1 月推出国内首个基于 MoE 架构的千亿参数量大语言模型 abab6 后，上周，通用人工智能创业公司、中国估值最高的大模型公司之一 MiniMax 推出了万亿 MoE 模型 abab 6.5。根据 MiniMax 发布的技术报告，在各类核心能力测试中，abab 6.5接近 GPT-4、 Claude 3 Opus 、Gemini 1.5 Pro 等世界领先的大语言模型。
2022年末，ChatGPT惊艳了世人，留下了急火攻心的“AI先行者”Google。
就在刚刚，Meta官网上新，官宣了Llama 3 80亿和700亿参数版本
如何复盘大模型技术爆发的这一年？除了直观的感受，你还需要一份系统的总结
2016 年，Google CEO 桑达尔·皮查伊在 I/O 开发者大会上豪情满怀地向全世界宣布： Google 已经成为了搜索的代名词，Alphabet 未来将成为一家 AI 优先的公司。
昨天的谷歌Next大会可是太精彩了，谷歌一连放出不少炸弹。 - 升级「视频版」Imagen 2.0，下场AI视频模型大混战 - 发布时被Sora光环掩盖的Gemini 1.5 Pro，正式开放 - 首款Arm架构CPU发布，全面对垒微软/亚马逊/英伟达/英特尔
这次，谷歌要凭「量」打败其他竞争对手。 当地时间本周二，谷歌在 Google’s Cloud Next 2024 上发布了一系列 AI 相关的模型更新和产品，包括 Gemini 1.5 Pro 首次提供了本地音频（语音）理解功能、代码生成新模型 CodeGemma、首款自研 Arm 处理器 Axion 等等。
谷歌最强大模型Gemini 1.5 Pro今天起，“全面”对外开放。 目前完全免费，开发者可以通过API调用的方式使用，普通玩家也可以在谷歌AI Studio中直接体验。
上个月，彭博社消息称苹果正在与 Google 进行谈判，希望将 Gemini 集成的 iPhone 当中，为 iPhone 的软件提供 AI 相关的新功能。把新系统的核心功能“外包”给第三方，这种做法非常不苹果。